Multi-Frame Self-Supervised Depth with Transformers

分享人：朱颖
研究方向：深度估计
论文题目：Multi-Frame Self-Supervised Depth with Transformers
论文作者：Vitor Guizilini, Rares Ambrus, Dian Chen, Sergey Zakharov, Adrien Gaidon
作者单位：丰田研究院
论文摘要：多帧深度估计比单帧方法有所改进，除了学习基于外观的特征外，还通过特征匹配来利用图像间的几何关系。在本文中，我们重新审视了用于自监督的单目深度估计的特征匹配，并提出了一种用于cost volume生成的新型Transformer架构。我们使用深度分解的极线采样来选择匹配的候选深度值，并通过一系列的自注意力和交叉注意力层来完善预测。这些层强化了像素特征之间的匹配概率，改善了容易产生模糊性和局部最小值的标准相似性指标。增强的cost volume被解码为深度，整个框架从视频中只使用光度测量指标进行端到端的训练。在KITTI和DDAD数据集上的实验表明，我们的DepthFormer架构在自监督的单目深度估计方面建立了新的最佳水平，甚至可以与有监督单帧架构竞争。我们还表明，我们学习的交叉注意力网络产生的表征可以跨数据集转移，提高了预训练策略的有效性。
原文链接：

点击此处